In vroegere tijden was deze plek, waar het prachtige Hof van Rameyen werd gebouwd, heel waarschijnlijk een Romeins castrum, een versterkte plaats, strategisch heel goed gelegen in de vallei van de Grote Nete. Het Hof van Rameyen verrees er in de loop van de 13de eeuw.
Het oudste deel van de huidige waterburcht is de vierkante meester-toren. Deze donjon dateert vermoedelijk uit de 13de eeuw. De drie slanke ronde hoektorens dateren uit de 16de eeuw. Volgens oude oorkonden is de oudst bekende eigenaar van de waterburcht Jan II Berthout, ridder van Berlaar.
In latere eeuwen werd het Hof van Rameyen eigendom van de families van Immerseele en de Cock. In 1643 werd het door Boudewijn de Cock verkocht aan Nicolaas Rubens, de tweede zoon van de beroemde kunstschilder Peter Paul Rubens. Tot 1759 bleef het domein in bezit van de familie Rubens. Eind 18de eeuw kwam het Rameyenhof in handen van de familie Le Grelle. Enkele jaren later werd de Nikolaas-Joseph-Alphonse De Cocq eigenaar. Hij liet belangrijke restauratiewerken uitvoeren en de buitenmuren bepleisteren, waaraan de waterburcht zijn frisse en aantrekkelijk uitzicht te danken heeft. In 1995 werd het kasteel gekocht door de familie De Gruyter-Janssens. Joseph de Gruyter liet het helemaal renoveren door de befaamde interieurarchitect Axel Vervoordt. In 2015 kwam het Hof van Rameyen in handen van de Nederlandse ondernemer Leo Van Gansewinkel. Na de dood van Leo Van Gansewinkel, in 2019, besloot de familie het goed opnieuw te verkopen.